R^2Orch: Recursive Self-Improvement for Agent Orchestration via Self-Play within a Skill-Internalization Loop
递归自改进的 Agent 编排：自博弈与技能内化循环
🧭 多智能体编排自博弈 · 技能撤除 ★ 深度解读
The Chinese University of Hong Kong, Shenzhen, China · Fudan University, China · University of Illinois Urbana-Champaign, USA · Tsinghua University, China · National University of Singapore, Singapore
通过双层递归自博弈，用技能撤除下的任务可学习性作奖励，实现零技能部署并全面超越基线
📌 工作参考价值（4 点）
- 技能生命周期管理：用“with vs without skill”成对对比估计技能净贡献，而非单看成功率或单一噪声分数，避免在课程分布变化时误判；可用 Bayesian 后验做撤除决策，设定预期损失上限，实现技能自动退役。
- 课程设计：在 RL 训练中，奖励任务在关键组件/技能被移除后仍保持结果多样性（learnability），而不是奖励绝对难度或失败，可避免优势坍塌并鼓励泛化；该思想可迁移到生成式推荐或多 Agent RAG 的任务采样。
- 训练效率：复用同一组 rollouts 同时做策略更新和技能评估，不增加额外采样成本；随机隐藏部分上下文可让模型提前适应零技能部署，逐步摆脱对昂贵工具或提示的依赖。
- 双层时间尺度架构：外层定期评估并撤除不再贡献的工具/提示，内层持续用自博弈优化编排策略，适合电商搜索推荐中多 Agent 流程的持续自我改进与降本。